方博士反向传播算法面试题精选

1. 请写出全微分公式

2. 梯度等于偏导数乘以学习步长的结果的相反数，请问这个公式是怎么推导出来的？为什么其中没有deltaY？
3. 要想让上述梯度公式成立，损失函数必须满足什么条件？为什么？
4. 请问全微分公式针对的是多元函数还是复合函数或者两者都有？为什么
5. 请问链式法则针对的是多元函数还是复合函数或者两者都有？为什么
多元函数
6. 请问批量梯度下降法、随机梯度下降法和小批量梯度下降法有什么区别？在TF中如何实现上述三种方法？

7. 损失函数和目标函数有什么区别？
目标函数是你的应用场景所要达到的目标
目标函数为y = ....

损失函数来源于目标函数,它是根据目标函数计算出来的.
损失函数为:loss = ...

8. 设一个NN网络中有一个relu激活层形如y=relu(x)，其中x是输入向量，含4个神经元。y是输出层。假设在一次前向传播中已经知道x=[1.2, -0.3, 0.5, -1.7]。在相应的反向传播计算中，已知y向量中的四个神经元的梯度分别是[0.6，-0.4，1.1，1.5]。请问x的四个神经元的梯度分别是多少？

9. 设有网络y=f(x, w)，x是输入，y是输出，w是f中的参数（可训练变量）。当w达到最优时下面那些结论是正确的：A. f对w的偏导数等于0; B: f对x的偏导数等于0; C: y等于0；D：梯度恒等于0

方博士CNN面试题精选

1. 判断对错：在卷积操作中，如果图片的格式不同（比如NCHW和NWHC格式），则产生的可训练参数数量也不同。
错,发生的参数与图片的参数没有关系
2. 判断对错：TF中Saver可用来保存和恢复当前模型的参数，但它只保存可训练参数，不保存不可训练参数。
错

卷积操作 k * k * in * out + out
什么跟长宽有着呢?
计算量
flops = ...(这个和长宽有关)
3. 判断对错：转置卷积是卷积的逆操作

4. 图像A的大小是64*64*17，经过一个核为5*5的卷积之后变成图像B，大小为60*60*31。请问：a）这样的卷积操作有可能吗？b）这个卷积操作的padding和strides各等于多少？c）B中的元素B[13][21][22]sh受到A中哪些元素的影响？

5. 卷积操作是线性的还是非线性的？
线性
6. 在内存足够的情况下，是不是卷积核越大越好？
7. 假设一次卷积操作中，原图片大小为h*w*c1，输出图片大小为h*w*c2，核的大小为k*k，问这次卷积操作共进行了多少次浮点乘法运算（不包括偏置）？

8. 为了把彩色图变成黑白图，可以把每个像素点的R、G、B的值分别乘以一个固定的系数再求和。请问这个操作相当于拼接，卷积，反卷积，还是池化？
9. 对一个200*200*3的图片进行Batch Normalize操作，会产生多少平均值和标准差？
10. 以下关于Batch Normalize操作的说法哪些是正确的？a) axis不同，每个点的平均值和标准差就会不同；b) axis不同，伽马和贝塔参数的数量就不同；c) axis不同，BN操作的结果是不一样的。
11. 以下关于Batch Normalize操作的说法哪些是正确的？a) BN操作计算出了精确的平均数和标准差；b) BN操作中产生的动量可以被反向传播优化；c) BN操作中产生的所有gamma和beta参数都可以被反向传播优化；d) 以上说法都不正确
12. 在预测(inference)时，BN操作的参数training必须设为False，为什么？如果设为True会怎样？
13. 设有一个4分类问题，每个分类是互斥的。4个分类分别是A、B、C、D。设有一个A类样本a，经过模型的前向传播计算后得到预测概率是[0.1, 0.5, 0.2, 0.2]。则a的交叉熵等于多少？所有概率之和应该等于1这句话对吗？
14. 设有一个4分类问题，每个分类不是互斥的。4个分类分别是A、B、C、D。设有一个样本s的类别是B和D，经过模型的前向传播计算后得到预测概率是[0.1, 0.5, 0.2, 0.2]。则s的交叉熵等于多少？所有概率之和应该等于1这句话对吗？
15. 以下关于TF中Saver的说法哪些是正确的：a) Saver保存模型的参数的同时也保存了张量和图(Graph)；b) 在一个图下保存的模型是不能够在另一个图下恢复；c) 如果张量的名字改变就不能回复一个模型；d) 以上说法都不正确
16. 写出用L2_Normalize对序列[2, 0, 4]进行正则化的结果；
17. 写出用L1_Normalize对序列[2, 0, 4]进行正则化的结果； 
18. 写出对序列[2, 0, 4]进行正态分布标准化的结果；


方博士高等数学面试精选：
1. 请给出当x趋近a时, f(x)趋近于b的数学定义
2. 请给出当x趋近+∞时, f(x)趋近于b的数学定义
3. 求a**x的导数
4. 请写出泰勒公式
5. 请问什么是中值定理和洛比塔法则？